Cái từ Tiểu Nga (Little Rus’ hay Lesser Rus’ bắt nguồn từ cách gọi trong ngôn ngữ Hy Lạp thời Trung đại. Vào thời ấy, Đế quốc Đông La Mã gọi phần phía Bắc và phía Nam của vùng Rus’ là: Μακρά Ρωσία (Makra Rosia - Đại Nga) và Μικρά Ρωσία (Mikra Rosia - Tiểu Nga), Ở đây Tiểu không hàm ý nhỏ mà hàm ý là gần, tương tự nh­ư cách gọi Tiểu Á hay Tiểu Ba Lan (Malopolska).

Oleg Nikolayevich Trubachyov lập luận rằng Tiểu Nga đối ngược với Đại Nga ở chỗ là Đại Nga là vùng đất ở phía ngoài, vùng đất "mới" của Nga. Đại ở đây hiểu là vùng đất bên ngoài, vùng "mới".[2]

Đồng thời, theo quan niệm địa-chính trị của người Hy Lạp, Tiểu (Little hay Lesser) cũng bao hàm nghĩa Trung tâm, còn Đại (Greater) ám chỉ các thuộc địa rộng lớn chung quanh. Nước Nga Kiev ngày xưa từng là một quốc gia hùng mạnh và rộng lớn, cái nôi của các quốc gia Ukraina, Nga và Belarus ngày nay. Và vì kinh đô của nước Nga Kiev xưa chính là thành Kiev - thủ đô hiện tại của Ukraina - và là một trong những thành phố cổ nhất Đông Âu, những vùng đất xung quanh thành phố này - tương ứng với Ukraina hiện nay - được gọi là Tiểu Nga.

Vào thế kỷ thứ mười bảy, từ Tiểu Nga (Malorossiya) bắt đầu du nhập vào nước Nga. Từ này có thể có nghĩa là Tiểu Nga hay Tiểu Rus tùy theo ngữ cảnh.[3]